VideoSeeker: Incentivizing Instance-level Video Understanding via Native Agentic Tool Invocation
VideoSeeker: 原生代理工具调用驱动的实例级视频理解
🧭 视频理解 · 代理工具调用 · 强化学习
University of Science and Technology of China · Xiaohongshu Inc. · East China Normal University · Xi’an Jiaotong University
用视觉提示和原生工具调用实现实例级视频理解，平均提升13.7%，超越GPT-4o与Gemini-2.5-Pro。
📌 工作参考价值（4 点）
- 数据合成管线借鉴：四阶段自动化生成实例级视频数据的流程（空间/时间定位标注、工具调用轨迹），可用于构建商品视频细粒度识别、直播片段检索等场景的高质量训练数据。
- 原生工具调用训练范式：冷启动监督+GRPO强化学习内部化工具调用能力，可迁移至电商多模态Agent（如商品问答、视频导购），让模型自主决定何时调用时空定位工具。
- 视觉提示交互设计：以框、掩码等视觉提示替代纯文本描述，提升时空指代精度，适用于商品图像区域标注、视频高光剪辑等交互式应用。
- 反思机制与奖励设计：通过反思步骤和多维度奖励（定位精度、推理正确性）优化策略，可直接参考用于生成式推荐或对话Agent的RL微调，平衡探索与利用。